Resumo O objetivo deste artigo é o de apresentar a metodologia qualitativa usada num estudo que visa compreender como o desenvolvimento comunitário pode ser sustentável através da implementação de um turismo que respeite o ambiente e a cultura das pessoas. Especificamente, pretende-se valorizar a análise de conteúdo da informação recolhida na comunidade como meio de obter um conhecimento sobre o seu desenvolvimento no contexto do turismo, através do papel dos intervenientes no município de Lautém, Timor-Leste. O instrumento de recolha de informação permitiu realizar entrevistas semiestruturadas a intervenientes do governo, de uma ONG e à comunidade local. As entrevistas face a face foram realizadas em duas línguas, as línguas Fataluku e Tétum. As 41 entrevistas foram gravadas e transcritas em word nestas línguas; posteriormente foram traduzidas para o português. A utilização destes instrumentos dialéticos revelou-se importante para explorar profundamente as ideias e opiniões dos inquiridos. Após uma leitura integral para obter uma visão global, estes 41 documentos textuais foram importados para o Software Nvivo QSR 12 Plus. Utilizando a funcionalidade de codificação do software, procedeu-se à sua leitura pormenorizada e codificação, com base na teoria e através da reflexão dos dados significativos. De modo a garantir a fiabilidade da análise dos mesmos, esta foi coordenada por dois investigadores, utilizando codificação aberta, axial e seletiva. Foram identificados cinco temas importantes: 1) o processo de desenvolvimento comunitário; 2) construção do conhecimento; 3) sustentabilidade; 4) acesso ao mercado turístico e 5) mudança social. O processo de análise de conteúdo com apoio de software facilitou o trabalho colaborativo dos investigadores, permitindo compreender melhor as informações, ideias e suas ligações. Como resultado, foi possível construir conhecimento, a partir da participação dos interessados locais, para dar resposta à questão de investigação: de que modo o turismo pode ter impacto no desenvolvimento comunitário na zona costeira do município de Lautém? Assim, a abordagem qualitativa revelou-se fulcral para se obter resultados significativos do estudo empírico.

Abstract The purpose of this study is to present the result of the content analysis it uses to investigate community development in the context of tourism through the role of researchers in Lautém Municipality, Timor-Leste. The information was obtained through semi-structured interviews of government and NGO stakeholders and using interviews of the indigenous community. The face-to-face interviews used two languages, the Fataluku and Tetum languages. The 41 interviews were recorded and transcribed in MS word in these languages, which were then translated into Portuguese. The purpose of using dialectical instruments is to explore more in dept the ideas and opinions of the respondents. After an integral reading to obtain an overview, these 41 documents were imported into the Nvivo QSR 12 Plus Software. Using software tools, we thoroughly read and coded the transcription data, based on theory and through reflection of meaningful data. In order to guarantee of the analysis, it was coordinated by two researchers, who used open coding, axial coding, and selective coding. We found five important themes: 1) community development process, 2) knowledge building, 3) sustainability, 4) tourism market access, and 5) social change. The results illustrate that content analysis supported by software tools facilitated the collaborative work of researchers, allowing them to better understand complex information, enrich ideas, and their connections. As a result, it was possible to build knowledge, based on the participation of local players, to answer the research question: how can the tourism have an impact on the community development in the coastal area in Lautém municipality? Thus, this study concludes that the qualitative approach proved to be essential to obtain significant results from the empirical study and as a tool to improve decision making related to tourism on the coast, especially in Lautém, Timor-Leste.

Resumo: Uma Living Sistematic Review (LSR) é um tipo de revisão emergente que é atualizada continuamente. Associado às LSR são exploradas diferentes ferramentas para definir o protocolo da revisão sistemática, avaliar a qualidade da evidência e reduzir o viés deste tipo de análises. O objetivo principal deste artigo foi o de analisar através de uma LSR (1ª versão) dos estudos realizados nos últimos anos com recurso à abordagem da LSR. Inicialmente foi efetuada uma análise bibliométrica. Posteriormente com os metadados recolhidos na base de dados Scopus (211), foram analisados com recurso da técnica de análise de conteúdo os títulos, resumos e palavras-chaves de 55 artigos. Especificamente, pretendeu-se responder à seguinte questão: Quais as ferramentas utilizadas na Living Sistematic Review? Deste modo, foram selecionados artigos que se ajustavam aos critérios de inclusão pré-definidos que pressuponham que utilizassem ferramentas como o Amstar, Appraisal Tools da JBI, Cohrane Risk of Bias, Grade, Probast, Quadas ou Tailored Prisma 2020. Nos artigos analisados a pandemia de COVID-19 foi o tópico dominante. A ferramenta mais usada, foi o Grade, evidenciando assim a necessidade de avaliar o seu uso ao longo das diversas fases da LSR. Reteve-se que a LSR é um tipo de revisão muito adequada para estudos que necessitem de atualizações periódicas e que os recursos às ferramentas elencadas valida a qualidade da produção científica com impacto na sua aplicação. Como limitação, e em simultâneo como pista para estudos futuros, é o facto de que estes resultados são datados e que precisam de uma atualização periódica. Pode ser ainda aprofundado quando usar (ou não) as ferramentas listadas e quando se deve (ou não) atualizar uma LSR.

Abstract: Living Systematic Review (LAR) is an emerging type of continually updated review. Associated with the LSR, different tools are explored to define the systematic review protocol, assess the quality of the evidence, and reduce the bias of this type of analysis. The main objective was to analyse through an LSR (1st version) the studies carried out in recent years using the LSR approach. Initially, a bibliometric analysis was carried out. Later, with the metadata collected in the Scopus database (211), the titles, abstracts, and keywords of 55 articles were analysed using the content analysis technique. Specifically, it was intended to answer the following question: What tools are used in Living Systematic Review? In this way, articles that fit the pre-defined inclusion criteria presupposed used Amstar, JBI Appraisal Tools, Cochrane Risk of Bias, Grade, Probast, Quadas or Tailored Prisma 2020. COVID-19 pandemic was the dominant topic. The most used tool was the Grade, thus evidencing the need to evaluate its use throughout the different phases of the LSR. It was maintained that the LSR is a very suitable type of review for studies that need periodic updates. The resources to the listed tools validate the quality of scientific production with an impact on its application. As a limitation, and at the same time as a clue for future studies, is the fact that these results are dated and that they need to be updated periodically. It can be further detailed on when to use (or not) the listed tools and when to (or not) update an LSR.

Resumo: A importância crescente da investigação Qualitativa nas Ciências Sociais é inquestionável. Não basta recolher elevadas quantidades de dados; é preciso saber analisá-los de modo significativo e aprofundado. Se por um lado aumenta a facilidade de recolher um volumoso corpus de dados por outro lado aumenta a necessidade de desenvolver a competência de os questionar de modo crítico. Nesta perspetiva, este volume 14 da RevistaNew Trends in Qualitative Research (NTQR)apresenta um conjunto de artigos selecionados com base não só na sua qualidade metodológica, mas também nos temas relevantes e no seu potencial de impacto social. Com a indexação daNTQRà base referencialScieloa disseminação dos seus artigos torna-se global, reforçando o carácter de acesso aberto desta publicação. Assim, para além de uma estratégia de controlo de qualidade de revisão, esta revista aposta numa estratégia de divulgação do seu conteúdo, de modo a divulgar o trabalho dos autores. Nesta sequência, aproveitamos para agradecer a todos os autores e revisores, que permitiram a construção e partilha deste volume, dedicado às Ciências Sociais. Esperamos que os seus artigos sejam lidos e que provoquem discussões e avanços tanto a nível metodológico como teórico. Para além desse caráter de impacto académico, por certo estes artigos irão contribuir para desejadas mudanças ao nível social.

Resumo: Uma patente é uma fonte de informação valiosa para auxiliar a avaliação de tendências na pesquisa, uma vez que revelam as áreas de inovação que os inventores estão focados. Outro ponto relevante é que são informações públicas e confiáveis. Este artigo tem o objetivo de apresentar uma abordagem para gerar subsídios para a interpretação qualitativa de patentes utilizando o apoio da estrutura conceitual do pacote R-Bibliometrix. A metodologia compreendeu a coleta de dados, detalhando como a pesquisa foi realizada na Base Lens, e a análise dos dados, que apresenta uma síntese do pacote R-Bibliometrix e da conversão dos dados para serem importados e analisados. Esta base permite análises preliminares de panoramas tecnológicos com a utilização dos recursos disponíveis para a visualização. Os resultados mostram os 10 digramas extraídos dos resumos das patentes que possuem as maiores frequências; a dinâmica das tecnologias a partir dos códigos IPC, focando na evolução da tecnologia ao longo do tempo e os tópicos de tendências; o mapa temático da evolução dos conceitos que foram extraídos dos resumos das patentes concedidas e submetidas; e a microestrutura das rotas tecnológicas do tema pesquisado. Conclui-se que as patentes oferecem oportunidades de análise de informações com foco em tecnologia e inovação. Apesar de não atender todos os requisitos de uma análise qualitativa, o pacote R-Bibliometrix oferece diversos recursos que apoiam a análise da estrutura conceitual com a visualização de rotas conceituais e tecnológicas, além de permitir outras possibilidades de análises da estrutura intelectual e social.

Abstract: Patent is a valuable source of information to help evaluate trends in research, since it reveals the areas of innovation that inventors are focused on. Another relevant point is that it is public and reliable information. This paper aims to present an approach to generate subsidies for the qualitative interpretation of patents using the support of the conceptual structure of the R-Bibliometrix package. The methodology comprised data collection, detailing how the search was conducted in the Lens Database, and data analysis, which presents an overview of the R-Bibliometrix package and the conversion of the data to be imported and analyzed. This database allows preliminary analysis of technological outlooks using the resources available for visualization. The results show the 10 digrams extracted from the patent abstracts that have the highest frequencies; the dynamics of the technologies from the IPC codes, focusing on the evolution of the technology over time and the trend topics; the thematic map of the evolution of the concepts that were extracted from the abstracts of the granted patents and patent applications; and the microstructure of the technological routes of the researched topic. It is concluded that patents offer opportunities for information analysis with a focus on technology and innovation. Despite not meeting all the requirements of a qualitative analysis, the R-Bibliometrix package offers several resources that support the analysis of the conceptual structure with the visualization of conceptual and technological routes, as well as allowing other possibilities for analysis of the intellectual and social structure.

Resumo: Introdução: Este artigo trata da Sequência Didática Interativa, Ferramenta Didática desdobrada da Metodologia Interativa. Propõe-se como procedimento metodológico, aplicado na disciplina de prática de ensino em curso de biologia. Foi elaborada pela Dra. Maria Marly Oliveira, professora/pesquisadora da graduação/pós-graduação da Universidade Federal Rural de Pernambuco. Justifica-se usá-la por constituir-se ferramenta relevante para planejamento e execução do ensino, como apontam as pesquisas já realizadas sobre a temática. Objetivo: Apresentar a Sequência Didática Interativa como Ferramenta Didática aos alunos de Prática como Componente Curricular como estratégia de planejamento e execução do ensino em escolas de educação básica brasileiras. Métodos: A ferramenta foi aplicada em duas etapas, por meio de exercício em sala, durante dois semestres consecutivos, valendo-se da Metodologia Interativa, investigação qualitativa baseada nos princípios: 1) Método pluralista construtivista ou método da quarta geração de Guba/Lincoln, este apresenta o Círculo Hermenêutico Dialético, aplicado na primeira etapa com alunos da disciplina, divididos em equipes, na busca de sínteses sobre o tema estudado, servindo-se do trinômio Complexidade-Dialogicidade- Dialeticidade; 2) Método de análise de conteúdo, Bardin; 3) Método de análise hermenêutico- dialética, Minayo; ambos aplicados na segunda etapa, aportes teóricos do professor, para fechamento das sínteses/prosseguimento do estudo. Resultados: Destaca-se o Círculo Hermenêutico Dialético, descrevendo-o como carro chefe deste procedimento, apontando-se como resultado a sua validade metodológica na formação do professor, discutindo-se sobre a maneira como citada sequência se insere na Metodologia Interativa, constituindo-se como ferramenta didática e como deve ser usada, mediante o exercício de aplicação, pontapé inicial para familiarizar o estudante com este recurso metodológico. Conclusão: Espera-se que esta metodologia de trabalho qualitativo avance em inovação educativa e seja uma ferramenta útil para: 1) licenciandos de biologia na formação inicial; 2) futuros estágios supervisionados, disciplinas do curso de ciências biológicas que se avizinham; 3) desenvolvimento profissional do docente e; 4) leitor interessado pelo assunto.

Abstract: Introduction: This article deals with the Interactive Didactic Sequence, a Didactic Tool originated from the Interactive Methodology. The idea is that this tool can be used as a methodological procedure in the discipline of teaching practice in biology courses. It was prepared by Dr. Maria Marly Oliveira, professor/researcher at the undergraduate/graduate level at the Federal Rural University of Pernambuco. According to researches on the subject, this tool is relevant for the planning and execution of teaching, justifuing its use. Objective: To present the Interactive Didactic Sequence as a Didactic Tool to students of Practice as a Curricular Component as a strategy for planning and implementing teaching in Brazilian basic education schools. Methods: The tool was applied in two stages, through classroom exercise, during two consecutive semesters, using the Interactive Methodology, qualitative research based on the principles: 1) Pluralist constructivist method or Guba/Lincoln fourth generation method, this presents the Dialectical Hermeneutic Circle, applied in the first stage with students of the discipline, divided into teams, seeking syntheses on the studied theme, using the trinomial Complexity-Dialogicity-Dialecticity; 2) Content analysis method, Bardin; 3) Hermeneutic-dialectical analysis method, Minayo; both applied in the second stage, theoretical contributions from the teacher, to close the syntheses/proceeding of the study. Results: The Dialectical Hermeneutic Circle stands out, describing it as the flagship of this procedure, pointing out as a result its methodological validity in teacher training, discussing the way in which the sequence is inserted in the Interactive Methodology, constituting itself as a didactic tool and how it should be used, through the application exercise, a kick-off to familiarize the student with this methodological resource. Conclusion: It is expected that this qualitative work methodology will advance in educational innovation and be a useful tool for: 1) Biology graduates in their initial training; 2) future supervised internships, disciplines of the biological sciences course close to each other; 3) professional development of the teacher and; 4) reader interested in the subject.

Resumo: Este estudo de caso resgata uma parte de um Programa de avaliação participativa, de natureza qualitativa e descritiva ancorada na metodologia da Avaliação Institucional Participativa (AIP). A questão de investigação que se pretende responder é: Como a investigação qualitativa pode contribuir para construir instrumentos de avaliação institucional e identificar indicadores relevantes? Para este caso de estudo foram definidos os seguintes objetivos: construir instrumentos de avaliação de qualidade das práticas nos estágios académicos; e identificar indicadores qualitativos relevantes para capturar os aspetos positivos e negativos dessas práticas. Foram aplicados em 2015 e 2017 questionários, simultâneos, aos estudantes-estagiários e, às instituições em convénio que ofertaram os estágios (os gestores das escolas). As respetivas avaliações se desenvolveram em quatro etapas: sensibilização, implementação, resultados e meta avaliação e buscou responder sobre a relação de compatibilidade do SINAES com a implementação desse processo. Para o tratamento das questões qualitativas, utilizou-se o software NVIVO 11 e a técnica Análise de conteúdo. Conclui-se que foi uma avaliação inovadora, que representou uma complementaridade ao SINAES. Por outro lado, a metodologia qualitativa nos possibilitou obter um rico diagnóstico, identificando pontos fracos a melhorar e valorizando os pontos fortes que podem contribuir para aprimorar a qualidade da formação dos futuros professores, constituindo-se, assim num indicador qualitativo para as mudanças a implementar.

Abstract: This case study rescues a part of a participatory evaluation program, of a qualitative and descriptive nature anchored in the methodology of Participatory Institutional Evaluation (AIP). The research question is: How can qualitative research contribute to building institutional assessment instruments and identifying relevant indicators? The following objectives were defined: build instruments to assess the quality of practices in academic internships; and identify relevant qualitative indicators to capture the positive and negative aspects of these practices. In 2015 and 2017, questionnaires were applied simultaneously to intern students and to partner institutions that offered the internships (school managers). The respective evaluations were developed through four stages: awareness, implementation, results and meta-evaluation and sought to answer about the compatibility relationship of SINAES with the implementation of this process. For the treatment of qualitative questions, the NVIVO 11 software and the Content Analysis technique were used. It is concluded that it was an innovative assessment, which represented a complementarity to SINAES. On the other hand, the qualitative methodology allowed us to obtain a rich diagnosis, identifying weaknesses to be improved and valuing the strengths that can contribute to improving the quality of the training of future teachers, thus constituting a qualitative indicator for the changes to be implemented.

Abstract: Framework: Literature Review is an important step in any research project. Knowing how to review through digital tools can enhance collaboration between researchers and thus obtain more relevant results. In digital environments, collaborative work is essential for the creation of knowledge; therefore, using tools that allow the sharing of knowledge, experiences and resources is a way to improve the Literature Review. Goals: To present a Literature Review made using digital tools; report the sequential steps of this trajectory; reflect on the use of webQDA for qualitative analysis of Literature Review. Chapter organization: The chapter starts with a brief introduction on the subject, followed by the Literature Review presentation session with the support of a digital tool. This session will cover the main steps of a review and how they apply to webQDA. In addition, an example of bibliometric analysis is presented. At the end, there is a reflection on the development of Literature Review with the support of digital tools, highlighting the main potentialities of using this technology to produce qualitative syntheses. Final considerations: Digital tools emerge as an important support to researchers for the elaboration of Literature Review, especially in the stages of selection, treatment, and synthesis of studies. These tools also favour the optimization of data organization, the transparency of the methodological path and the credibility of scientific evidence. Also, the study reveals new research opportunities from the combination of different methodological approaches, such as bibliometric analysis (quantitative) and content analysis (qualitative).

Resumo: Enquadramento: A Revisão da Literatura é uma etapa importante em qualquer projeto de pesquisa. Saber como fazer uma revisão por meio de ferramentas digitais pode potenciar a colaboração entre pesquisadores e, deste modo, obter resultados mais relevantes. Nos ambientes digitais o trabalho colaborativo é essencial para a criação de conhecimentos; assim, utilizar ferramentas que permitam o compartilhamento de saberes, experiências e recursos é uma via de melhorar a Revisão da Literatura. Objetivos: Apresentar uma Revisão da Literatura feita por meio de ferramentas digitais; reportar os passos sequenciais desta trajetória; refletir sobre a utilização do webQDA para análise qualitativa de Revisão da Literatura. Organização do capítulo: O capítulo inicia com uma breve introdução sobre o tema, seguida pela sessão de apresentação de Revisão da Literatura com o apoio de ferramenta digital. Nesta sessão, serão abordadas as principais etapas de uma revisão e de que maneira se aplicam ao webQDA. Complementarmente, é apresentada um exemplo de análise bibliométrica. Ao final é realizada uma reflexão sobre o desenvolvimento da Revisão da Literatura com o apoio das ferramentas digitais, destacando as principais potencialidades do uso desta tecnologia para a produção de sínteses qualitativas. Considerações finais: As ferramentas digitais despontam como um importante apoio aos pesquisadores para a elaboração da Revisão da Literatura, principalmente nas etapas de seleção, tratamento e síntese dos estudos. Essas ferramentas também favorecem a otimização da organização dos dados, a transparência do percurso metodológico e a credibilidade das evidências científicas. O estudo também revela novas oportunidades de investigação a partir da combinação de diferentes abordagens metodológicas, como a análise bibliométrica (quantitativa) e a análise de conteúdo (qualitativa).

Resumo: As palavras necessárias para criar uma análise de coocorrência podem ser coletadas dos títulos dos artigos, dos resumos e das palavras-chave do autor. Essas diferentes abordagens permitem identificar subáreas em cada campo e estudar suas características e tendências, retratar o perfil de pesquisa global, encontrar tópicos importantes, tendências disruptivas, procurar relacionamentos cooperativos e interpretar padrões de colaboração entre os autores. Este trabalho tem o objetivo de apresentar duas abordagens para a interpretação dos resultados de uma pesquisa bibliográfica. A primeira abordagem visa identificar o grau de evolução das publicações sobre um determinado tema usando a curva logística. A segunda visa identificar os tópicos emergentes a partir da análise de coocorrência de palavras-chave. Para exemplificar as duas abordagens, foi realizada uma pesquisa na base Scopus sobre o tema avaliação de aprendizagem. A análise da evolução das publicações revelou que o tema ainda está em crescimento e deverá alcançar a saturação por volta do ano 2040. A identificação dos tópicos emergentes indicou 20 palavras-chave que foram indexadas em 2021. Conclui-se que as abordagens são relevantes para analisar a evolução de um tema e indicar oportunidades para explorar tópicos emergentes.

Abstract: The words needed to create a co-occurrence analysis can be collected from the author's article titles, abstracts and keywords. These different approaches allow identifying sub-areas in each field and studying their characteristics and trends, portraying the global research profile, finding important topics, disruptive trends, looking for cooperative relationships and interpreting patterns of collaboration between the authors. This work has the objective of presenting two approaches for the interpretation of the results of a bibliographic research. The first approach aims to identify the degree of evolution of publications on a given topic using the logistic curve. The second aims to identify emerging topics from the analysis of keyword co-occurrence. To exemplify the two approaches, a survey was carried out on the Scopus database on the subject of learning assessment. The analysis of the evolution of publications revealed that the topic is still growing and is expected to reach saturation around 2040. The identification of emerging topics indicated 20 keywords that were indexed in 2021. It is concluded that the approaches are relevant to analyze the evolution of a theme and to indicate opportunities to explore emerging topics.

Resumo: O mapeamento científico tem uma longa tradição e várias abordagens foram propostas, como a análise de citações de periódicos, a análise de cocitações, o acoplamento bibliográfico e a análise de coocorrência de palavras. Este artigo explora a análise de coocorrência de palavras-chave dos autores para realizar o refinamento de pesquisas bibliográficas. É proposta uma abordagem que parte de uma pesquisa bibliográfica mais abrangente e usa a análise de rede de coocorrência de palavras-chave para identificar pares de termos que possam ser utilizados na construção de uma nova expressão de busca para refinar a pesquisa inicial. São apresentados dois exemplos de como utilizar a abordagem proposta. Foi realizada uma pesquisa sobre o tema Covid-19, selecionando as seguintes opções de refinamento: escolha da grande área de Ciências Sociais e dos artigos que tratavam de educação. Em relação aos tipos de documentos, foram incluídos os artigos em periódicos e conferências, além dos documentos de revisão. Em seguida, são exemplificadas as duas alternativas propostas para o refinamento da pesquisa bibliográfica inicial. Conclui-se que a abordagem proposta evidencia os principais conceitos associados ao tema pesquisado e também pode ser empregado, de forma exploratória, para identificar conceitos pertinentes a uma necessidade de informações sobre um domínio temático.

Abstract: Scientific mapping has a long tradition and several approaches have been proposed, such as journal citation analysis, co-citation analysis, bibliographic coupling and words co-occurrence analysis. This paper explores the authors' keywords co-occurrence analysis to refine bibliographic research. An approach is proposed that starts from a more comprehensive bibliographic search and uses the keyword co-occurrence network analysis to identify pairs of keywords that can be used in the construction of a new search expression to refine the initial search. Two examples of how to use the proposed method are presented. A search was carried out on the Covid-19 keyword, selecting the following refinement options: choosing the subject area of Social Sciences and the documents dealing with education. Regarding the types of documents, papers in journals and conferences were included, in addition to the review documents. Then, the two alternatives proposed for the refinement of the initial bibliographic research are exemplified. It is concluded that the proposed approach highlights the main concepts associated with the researched theme and can also be used, in an exploratory way, to identify concepts pertinent to an information need on a thematic domain.

Resumo: Nos últimos anos a Análise da Aprendizagem tem atraído crescente atenção por investigadores, práticos e instituições. O ponto de partida deste estudo é a questão: Como realizar uma análise do estado da arte sobre análise de aprendizagem? Para responder a esta questão desenhamos um estudo exploratório de modo a obter uma visão geral do tema. Definimos a expressão de busca e as unidades de análise para recolher informação a partir da Web of Science. A análise dos dados teve o apoio VOSviewer (para gerar as redes de coocorrência de palavra-chave e de cocitações de referências citadas) e do Gephi (para o cálculo das métricas de análise, da identificação dos termos mais relevantes e das referências estruturantes do tema). Os resultados obtidos, para além de uma panorâmica geral, permitem gerar novas questões que irão estruturar a revisão da literatura baseada num modelo conceptual sólido. Este método permite evoluir da descrição dos artigos seminais e relevantes para uma análise mais estruturada e interligada.

Abstract: In recent years, Learning Analysis has attracted increasing attention by researchers, practitioners and institutions. The starting point is the question: How to conduct a state-of-the-art analysis of learning analytics? To answer this question, we designed an exploratory study to obtain an overview of the Learning Analysis theme. We define the search expression and the units of analysis to collect information from the Web of Science. The data analysis was supported by VOSviewer (to generate the networks of keyword co-occurrence and citation of cited references) and Gephi (for the calculation of analysis metrics, the identification of the most relevant terms and the structuring references of the theme). The results obtained, in addition to a general overview, allow us to generate new questions that will give the structure of the literature review, based on a solid conceptual model. This method allows evolving from the description of seminal and relevant articles to a more structured and interconnected analysis.

Resumo: A pesquisa em educação é um campo muito amplo, devido às diversas instâncias da gestão educacional e aos inúmeros sujeitos da educação, aos distintos processos e metodologias educacionais e aos projetos e políticas de educação, inseridos em uma conjuntura de mudanças sociais, econômicas e políticas que se operam na atualidade, nos planos nacional e internacional. Este trabalho apresenta panorama das publicações sobre pesquisa em educação por meio de uma análise bibliométrica, para responder à questão de pesquisa, explorando a análise de redes de coocorrência de palavras-chave e de citações de documentos, de periódicos e de organizações. A pesquisa bibliográfica foi realizada na base Scielo Citation Index (Web of Science) utilizando a expressão de busca: educação, que retornou 23731 documentos publicados do período de 2002 a 2021. Foram realizados três refinamentos da pesquisa com a seleção: da categoria - education educational research; dos tipos de documentos - artigos em periódicos e de revisão; e do idioma - português. O resultado obteve 7448 documentos publicados no período de 2002 a 2021. O panorama foi obtido da análise das redes de coocorrência de palavras-chave, de citações de documentos, de citações de fontes e de organizações.

Abstract: Educational research is a very broad field, due to the various instances of educational management and the numerous subjects of education, the different educational processes and methodologies and the projects and policies of education, inserted in a conjuncture of social, economic and political changes that currently operate, nationally and internationally. This paper presents an overview of publications on educational research through a bibliometric analysis, to answer the research question, exploring the analysis of co-keywords co-occurrence networks and documents, sources and organizations citation networks. The bibliographic search was carried out using the Scielo Citation Index (Web of Science) using the search term: education, which returned 23731 documents published from 2002 to 2021. Three refinements of the research were carried out with the selection: from the category - education educational research; types of documents - articles in journals and reviews; and the language - Portuguese. The result obtained 7448 documents published in the period from 2002 to 2021. The overview was obtained from the analysis of the keyword co-occurrence networks and the documents, sources and organizations citation networks.

O tema Avaliação da Pesquisa tem sido objeto de intenso estudo tanto pela sua importância para múltiplos propósitos, quanto pelo desenvolvimento teórico do modelo sistema de avaliação numa perspetiva de procura de melhoria contínua da qualidade de desempenho da pesquisa e do seu impacto societal e impacto na inovação. O objetivo deste estudo exploratório é recolher e mapear a estrutura intelectual da Avaliação de Pesquisa. Usando citações de redes, capturamos os blocos de construção latentes e as linhas condutoras deste tema. A visualização e análise de dados foram úteis para fazer uma exploração dos antecedentes da literatura; observando as redes de citação e seus agrupamentos, identificamos artigos-chave (artigos seminais e artigos relevantes) que suportam as diferentes áreas de Avaliação de Pesquisa. O principal resultado é o mapa de citações organizado em seis grupos (clusters), fornece uma visão geral rápida desses territórios interligados, dando uma compreensão dessas diferentes áreas de conhecimento. Esta é uma imagem clara deste tópico, útil para acadêmicos, pesquisadores juniores, bem como dos diversos interessados práticos com interesse na política de avaliação de pesquisa ou na avaliação da qualidade da pesquisa e sua implementação. Identificamos publicações seminais e publicações relevantes com elevados índices de citação. Este estudo é um sólido ponto de partida para uma futura e profunda revisão da literatura sobre “avaliação de pesquisas”.

Research Evaluation topic has been the object of intense study both for its importance for multiple purposes, and as for theoretical development model system on a continuous increase of quality of research performance and societal and innovation impact. The objective of this exploratory study is to capture and mapping intellectual structure of Research Evaluation. Using networks citations we capture the latent building blocks and drivers of this theme. Data visualization and visual analytics were helpful to make an exploration of literature background; by observing citation networks and its clusters we identify key papers (seminal and highest papers) that support different areas of Research Evaluation. Main result is the Citation map with six clusters, where each cluster gives us a quick overview of those interlinked territories that provide an understanding of those different knowledge areas. This is a clear picture of this topic, useful for academic scholars, novice researchers and the practical stakeholders, interest in research evaluation policy or assessing the quality of research and its implementation. We identify Seminal and Highest citation publications. This study is the solid starting point for a deep literature review on “research evaluation”.

O setor acadêmico brasileiro vive um momento de estresse quantitativista. Docentes e pesquisadores são avaliados pelas métricas individuais de sua produção bibliográfica. Apesar de sua importância, a colaboração no trabalho de pesquisa em grupo, nas redes de pesquisa, ainda não constitui objeto de avaliação sistemática. Medem-se os produtos, mas os processos que os geram permanecem desconhecidos. Este estudo objetivou construir marcadores para a avaliação de processos interativos de trabalho em redes de pesquisa. Entendemos que este tipo de rede se estabelece quando um grupo colabora com a intenção de produzir conhecimento. A literatura consultada apontou que, embora tal interação possa ser representada graficamente, há ainda número reduzido de trabalhos sobre o tema da avaliação de redes de pesquisa e colaboração ou de parceria em pesquisa. A partir da teoria, desenvolvemos uma metodologia de análise de currículos de pesquisadores com uso de softwares para construção de planilhas de dados, contagem de coautorias e análise de redes sociais. Estas técnicas permitiram a elaboração de planilhas da produção bibliográfica dos pesquisadores, de grafos representando suas redes e a construção de um protocolo de avaliação de redes de colaboração e pesquisa. Os sujeitos investigados foram pesquisadores 1A do CNPq, líderes de grupo de pesquisa nas áreas de Educação, Engenharia de Produção e Física. Os resultados identificam 10 marcadores/indicadores quali-quantitativos para avaliação de processos de pesquisa em rede que foram testados e validados em contexto de aplicação.

The Brazilian academic sector is experiencing a period of quantitativist stress. Teachers and researchers are individually evaluated by the metrics of their bibliographical production. Despite its importance, the collaboration inside the research groups, in research networks, is not subject to systematic review. Products are measured, but the processes that generate them remain unknown. This study, supported by CNPq, aimed to build markers for the evaluation of interactive processes work in research networks. We understand that a research network is established when a group collaborates with the intention of producing knowledge. The literature pointed out that although such interaction can be graphically represented there is still small number of papers on the topic of evaluation of research networks and collaboration or about evaluation of research partnerships. From the theory, we developed a methodology for analyzing the curricula of researchers employing software to build spreadsheets, count co-authorships, and analyze social networks. These techniques allowed the preparation of data spreadsheets on the researchers' bibliographical production, graphs representing their networks and the construction of an evaluation protocol for collaborative research networks. The investigated subjects were CNPq 1A researchers leading research groups in the areas of Education, Production Engineering and Physics. The results identify 10 markers, qualitative and quantitative indicators for evaluating research processes on networks, which have been tested and validated in the context of application.

O estudo procura identificar os factores satisfacientes e insatisfacientes de clientes de websites entre os membros de uma instituição universitária portuguesa. O quadro inspirador é o clássico modelo motivacional bifactorial de Herzberg, que Zhang e von Dran (2000) transpuseram para o estudo da (in)satisfação com os websites. Foi inquirida uma amostra de 252 indivíduos. Os resultados sugerem que, embora haja factores conducentes tanto à satisfação como à insatisfação (factores mistos), alguns são claramente satisfacientes e outros inequivocamente insatisfacientes. A evidência empírica sugere que os construtores de websites não devem apenas evitar os factores de insatisfação, nem focalizar-se predominantemente nos conducentes à satisfação, antes devem actuar sobre ambos. Uma atenção especial deve ser dada aos factores mistos, devido ao seu duplo retorno.

The study aims to identify satisfiers and dissatisfiers factors of website customers such as perceived by the members of a Portuguese University. It is inspired in the Herzberg’s classic bifactorial model of motivation, which was transposed by Zhang and von Dran (2000) to the analysis of (dis)satisfaction with websites. A sample comprising 252 individuals was collected. Results suggest that, though some factors induce both satisfaction and dissatisfaction, some are clearly satisfiers, whereas others are dissatisfiers. The empirical evidence suggests that website builders must not only avoid dissatisfying factors, nor mainly focus on those aspects leading to satisfaction, but rather act on both factors.